Hulu Voidbox 调研

张凯

2016 年 12 月 14 日

Hulu Voidbox 的定位

Voidbox 的定位

Docker On Yarn(董西成 2016)

  • 支持基于 docker 的有向无环图模型,简化部署
  • 支持长服务(如 web service)

Voidbox 的工作原理

架构(Yang 2015)

运行流程(Yang 2015)

例子

有向无环图模型

长服务(梁宇明 2015)

优缺点

与 Myriad 的比较

  • 优点:
    • 不仅支持 service 类型的容器,还支持 DAG 模型,有助于简化 MapReduce 和 Spark 任务的部署
    • 考虑周到的容错机制
    • 与 Jenkins 和 GitLab 等的无缝集成
    • 图形化的 log 查看界面(杨华辉 2015)
  • 缺点:
    • 文档较少,暂时没找到开源代码
    • 容器编排能力待了解
    • 因为暂时没找到接口的详细文档,所以暂不确定与 LAIN 如何集成

附录:Myriad 架构

参考文献

Yang, Huahui. 2015. “Voidbox - Docker on Yarn.” http://tech.hulu.com/blog/2015/08/06/voidbox-docker-on-yarn.html.

杨华辉, 梁宇明, 董西成. 2015. “Voidbox: Docker on Hadoop在hulu的实战.” http://dongxicheng.org/mapreduce-nextgen/voidbox-docker-on-hadoop-hulu/.

梁宇明. 2015. “VOIDBOX - Docker on Yarn.”

董西成. 2016. “Hadoop Yarn在hulu的成功实践.” http://www.infoq.com/cn/articles/hadoop-ten-years--part02.